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摘要 整合 复杂 性 是 心理 学 中 用 来 测量 个 体 思维 结构 的 一 个 概念 ， 主 要 涉及 两 个 方面 区 分 
性 和 整合 性 。 区 分 性 是 指 个 体能 够 识别 和 理解 信息 中 存在 的 不 同 观点 或 元 素 的 能 力 ; 整合 
性 是 指 个 体能 够 将 这 些 不 同 的 观点 或 元 素 合并 成 一 个 有 风 辑 性 和 连贯 性 的 整体 的 能 力 。 整 
合 复 杂 性 的 测量 主要 依靠 人 工 对 于 文本 内 容 进 行 分 析 ， 这 些 文本 可 以 是 书面 材料 、 演 讲稿 、 
面试 记录 或 任何 其 他 形式 的 口头 或 书面 表达 。 针 对 当前 整合 复杂 性 人 工 测 评 方法 成 本 高 、 
自动 化 评估 方法 精度 低 以 及 缺乏 中 文 文本 评估 方案 等 问题 ， 本 研究 基于 大 语言 模型 文本 数 
据 增强 技术 和 模型 迁移 技术 为 整合 复杂 性 的 评估 设计 了 对 于 中 英文 文本 的 自动 化 评估 方案 ， 
并 探索 了 整合 复杂 性 两 种 子 结构 : 精细 整合 复杂 性 和 辩证 整合 复杂 性 的 自动 化 评估 方法 。 
本 文 设计 并 实施 了 两 个 研究 ， 首 先 基于 大 语言 模型 文本 数据 增强 技术 实现 了 对 于 英文 文本 
整合 复杂 性 的 预测 模型 ， 其 次 基于 模型 迁移 技术 实现 了 对 于 中 文 文本 整合 复杂 性 的 预测 模 
型 。 研 究 结果 显示 : 1) 使 用 GPT-3.5-Tubo 对 于 英文 文本 数据 进行 增强 ， 使 用 预 训 练 多 语言 
Roberta 模型 进行 词 向 量 提 取 ， 使 用 文本 卷 积 神经 网 络 模型 作为 下 游 模型 。 与 人 工 标注 相 比 ， 
整合 复杂 性 Spearman 相关 系数 为 0.62， 辩 证 整合 复杂 性 相关 系数 为 0.531， 精 细 整 合 复杂 性 
Spearman 相关 系数 为 0.60。 优 于 机 器 学 习 方 法 以 及 未 经 过 数据 增强 的 神经 网 络 模型 。2) 本 
文 在 研究 二 中 建立 了 与 研究 一 中 的 神经 网 络 结构 一 致 的 模型 ， 并 将 研究 一 中 最 终 的 模型 参 
数 迁移 至 本 研究 的 模型 中 ， 对 于 中 文 文本 整合 复杂 性 进行 训练 。 在 零 样 本 的 情况 下 ， 迁 移 
学 习 模 型 整合 复杂 性 Spearman 相关 系数 为 0.31， 辩 证 整合 复杂 性 Spearman 相关 系数 为 0.31， 
精细 整合 复杂 性 相关 系数 为 0.33， 均 优 于 随机 参数 情况 下 的 模型 表现 (整合 复杂 性 : 0.17, 
辩证 整合 复杂 性 : 0.10， 精 细 整 合 复杂 性 : 0.10)。 在 小 样本 情况 下 迁移 学 习 模 型 整合 复杂 
性 Spearman 相关 系数 为 0.73， 辩 证 整合 复杂 性 Spearman 相关 系数 为 0.51， 精 细 整 合 复杂 
性 相关 系数 为 0.73。 
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Integrative Complexity Modeling in English and Chinese Texts based on large language 


model 


Abstract Integrative complexity is a concept used in psychology to measure the structure of an 
individual's thinking in two aspects: differentiation and integration. The measurement of integrative 
complexity relies primarily on manual analysis of textual content, which can be written materials, 
speeches, interview transcript large language models, or any other form of oral or written expression. 
To solve the problems of high cost of manual assessment methods, low accuracy of automated 
assessment methods, and the lack of Chinese text assessment scheme, this study designed an 
automated assessment scheme for integrative complexity on Chinese and English texts. We utilized 
text data enhancement technique of the large language model and the model migration technique 
for the assessment of integrative complexity, and explored the automated assessment methods for 
the two sub-structures of integrative complexity, namely, the fine integration complexity and the 
dialectical integration complexity. In this paper, two studies are designed and implemented. Firstly, 
a prediction model for the integration complexity of English text is implemented based on the text 
data enhancement technology of large language model; secondly, a prediction model for the 
integration complexity of Chinese text is implemented based on the model transfer technology. The 
results showed that: 1) We used GPT-3.5-Tubo for English text data enhancement, a pre-trained 
multilingual Roberta model for word vector extraction, and a text convolutional neural network 
model as a downstream model. The Spearman correlation coefficient between this model's 
prediction of integration complexity and the manual scoring results was 0.62, with a dialectical 
integration complexity correlation coefficient of 0.51 and a fine integration complexity Spearman 
correlation coefficient of 0.60. It is superior to machine learning methods and neural network models 
without data enhancement. 2) In Study 2, a model with the same structure as the neural network in 
Study 1 was established, and the final model parameters in Study 1 were also transferred to the 
model in this study to train the integration complexity prediction model based on Chinese text. In 
the case of zero samples, the Spearman correlation coefficients of the transfer learning model for 
integrative complexity are 0.31, the Spearman correlation coefficient of dialectical integration 
complexity is 0.31, and the correlation coefficient of fine integration complexity is 0.33, all of which 
are better than the model in the case of random parameters (integrative complexity: 0.17, dialectical 
integrative complexity: 0.10, fine integrative complexity: 0.10). In the case of small samples, the 
Spearman correlation coefficient of the transfer learning model was 0.73, with a dialectical 
integration complexity correlation coefficient of 0.51 and a fine integration complexity correlation 
coefficient of 0.73. 
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整合 复杂 性 是 一 种 人 们 ) 
知 风格 。 整 合 复杂 性 
种 连贯 的 方式 整合 这 
思维 
分 化 是 指 识别 和 理解 


ch [i sel 


被 定 为 可 
文 些 观点 的 思维 方式 。 
一 般 认 为 包括 


的 内 容 。 


中 各 种 不 同 元 素 、 观 点 或 信息 
有 学 者 认为 ， 
合法 性 的 复杂 + 


明显 不 同 


的 辨识 和 区 分 。 


生 和 服务 于 一 大 


模式。 研究 发 现 ， 丘 吉尔 在 第 一 下 


复杂 性 方面 始终 高 于 他 的 同 


这 些 不 同 
性 模型， 


张力 的 隐 含 
进行 了 隐 


策 时 考虑 多 重 


(例如 : 


这 也 可 能 增加 患 皮肤 癌 的 风险 ”)。 
即 意 识 到 在 任 


该 模型 


时 的 认 知 加 工 倾向 ， 它 源 
以 区 分 不 同 的 观点 ， 但 同时 又 能 
整合 复杂 性 的 评定 针对 的 是 思 
区 分 和 整合 两 种 结构 维度 Koo & Han, 2007; Levitt, 2007). 
个 问题 或 情境 中 的 多 个 不 同 视角 或 维 


整合 复杂 性 并 不 局 限于 一 种 形式 。 
主导 观点 的 复杂 性 。 而 且 ， 
复杂 性 方面 始终 低 于 他 的 同事 ， 而 在 第 二 种 
事 。 针 对 出 现 的 这 种 情况 ，Conway 等 (2008) 提 出 了 一 种 可 以 对 
区 式 进行 概念 化 和 评分 的 整合 复杂 性 模型 。 
根据 Tetlock 和 Tyler(2006) 的 观点 ， 将 整合 复杂 性 分 为 两 大 类 ， 
整合 复杂 性 和 精细 整合 复杂 性 。 辩 证 整合 复杂 性 涉及 对 一 个 焦点 话题 相 


自 个 人 建构 理论 ， 是 一 种 认 
一 个 更 高 的 层次 上 ， 以 一 
维 的 结构 或 者 形式 ， 


度 的 能 力 。 它 涉及 对 复杂 情境 


事实 上 ， 有 研究 区 分 了 承认 蔡 代 观点 


这 两 种 类 型 的 复杂 性 可 以 表现 出 


这 种 整合 复杂 性 模型 被 称 为 多 重复 杂 
分 别 是 辩证 


关 的 不 同 维度 之 间 


认识 。 辩 证 
含 的 认识 和 理解 ， 


[ey 


复杂 性 在 于 对 复杂 话题 进行 深入 思考 上 
这 种 思考 方式 体现 了 对 复杂 性 的 接受 和 认识 ， 以 及 在 评估 和 9 
因素 的 能 力 。 辩 证 复杂 性 的 一 些 标志 
到 一 个 给 定 观 点 既 有 好 的 也 有 不 好 的 元 素 ， 或 者 多 个 可 能 相互 竞 扫 


十 ， 对 不 同 维度 的 张力 和 交织 
以 下 几 点 。 首 先 ， 个 体 认 识 


的 观点 都 具有 合理 性 


性 特征 包 提 


“ 晒 太 阳 既 有 积极 也 有 消极 的 方面 ; 


何 一 个 观点 中 都 可 能 存在 了 


反映 了 个 体 的 辩证 整合 复杂 性 


(如: 


这 反映 了 在 对 某 一 观点 或 行为 进行 评估 


观点 更 加 具 
式 被 论述 时 。 
面 和 深入 的 解释 和 


PERI ITE. HHA 


AIRE IZJEM 
强调 清晰 区 分 的 观点 ， 且 这 些 观点 都 与 
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致 的 前 述 。 详 细 复 杂 性 


一 方 
一 点 体现 了 对 复杂 问题 或 现象 多 维 
E 反 两 面 。 其 次 ， 文 本 陈述 中 的 限定 条 件 也 有 可 
“ 晰 太阳 总 体 来 说 是 不 太 好 的 ， 除 非 天 气 不 是 太 热 ”)。 
时 ， 考 虑 到 了 条 件 或 情境 的 变化 ， 从 而 使 得 原本 的 
整合 复杂 性 发 生 在 一 个 单 
精细 复杂 性 在 于 对 一 个 特定 主题 的 深入 探讨 和 畔 述 ， 它 强调 对 一 个 观点 的 全 
支持 ， 而 不 是 展示 和 比较 多 个 不 同 的 观点 。 这 
的 标志 包括 以 下 几 上 点。 首先 ， 精 
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阳 很 放松 ， 但 另 一 方面 ， 
度 、 多 角度 的 理解 ， 


、 主 导 的 主题 以 复杂 的 方 


种 思考 方式 在 于 对 一 个 观 


整合 复杂 性 


阳 是 个 坏 主意 9 因 


郁 ")。 这 一 点 反映 了 在 讨论 同一 主题 时 ， 对 单一 观点 的 多 方 
次 ， 精 细 整 合 复杂 性 具有 一 个 主导 
(如 : 


验 ”) ] 文 


这 体现 了 对 
证 实 这 一 观点 。 


主题 相关 且 具 有 
E E ey 
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“ 栖 太 阳 会 导致 癌症 ， 我 对 此 的 证 据 来 自 两 个 非常 不 同 的 来 源 :科学 研究 和 个 人 经 


相同 的 情感 倾向 〈 例 如 :“ 晒 太 
朋友 见面 ， 从 而 导致 扳 立 和 抑 
看 、 多 层次 的 支持 和 发 展 。 其 
提供 了 多 个 不 同 的 原因 或 来 源 
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不 仅 强调 了 观点 本 身 ， 还 从 多 个 角度 文 持 和 


性 作为 心理 学 中 一 个 重要 的 研究 领域 , 
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学 、 社 会 学 等 多 个 学 科 ' 


最 早起 源 于 心理 学 领域 ， 最 初 关 尘 

要 依赖 于 实验 室 环境 中 的 段落 完成 任务 。 
境 来 完成 一 项 或 几 项 段落 的 写作 任务 。 厂 
水 平 ， 主 要 关注 被 试 是 否 能 


在 这 些 任 务 ， 


特定 的 情境 ， 引 
评估 个 体 的 思维 过 程 。 


界 中 的 思维 方式 。Suedfeld 等 人 (1992) 的 丰 
的 档案 材料 ， 这 一 转变 标志 


导 被 试 进行 思考 和 表达 。 
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的 是 个 体 在 面 对 复 杂 情 境 时 的 思维 方式 。 


然而 ， 这 种 方法 也 存在 局 限 性 ， 如 可 能 无 法 完全 反映 个 体 在 真实 
究 开 创 性 地 将 整合 复杂 性 的 


着 整合 复杂 性 研究 方法 的 重大 突破 。 他 们 的 工作 


Ba DY, 


有 悠久 且 丰 富 的 研究 历史 。 它 在 心 
都 有 着 广泛 的 应 用 和 深刻 的 影响 。 整 合 复杂 性 的 概念 
早期 的 研究 主 
中 主 试 提供 的 具体 情 
究 人 员 随 后 根据 被 试 的 回答 来 评估 其 整合 复杂 性 
识别 和 整合 不 同 的 观点 。 在 实验 室 环境 中 ， 研 究 人 员 通 过 设 定 
方法 的 优点 在 于 可 以 在 控制 的 环境 下 观察 和 


] 于 自然 产 4 
EARE R 
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mT 


CC 


够 分 析 历 史 人 物 、 政 治 领导 者 、 文 学 作品 等 自然 产生 的 文本 资料 ， 从 而 更 加 深入 地 理解 个 


大 事件 ， 


体 或 群体 在 特定 历史 背景 下 的 思维 复杂 性 。 通 过 分 析 自 
评估 个 体 或 群体 在 更 加 广阔 和 真实 的 社会 文化 背景 下 的 思维 复杂 性 。 这 和 
历史 研究 、 政 治 分 析 和 文化 研究 。 例 如 ， 分 析 政 治 领 导 人 的 演 训 
的 思维 方式 和 决策 过 程 。 


然 产 9 


E 的 文本 资料 ， 研 究 人 员 可 


尽管 整合 复杂 性 的 这 和 


评分 方法 在 实际 操作 中 面临 
和 量化 的 分 析 方 法 不 同 ， 整 合 复杂 性 


的 评估 涉及 对 文本 内 容 的 深入 理 


评分 方式 在 心理 学 研究 中 被 广泛 应 用 并 具有 重要 
着 一 些 显著 挑战 。 这 主要 有 两 个 原因 。 首 先 


要 对 作者 的 意图 和 思想 进行 多 


Eve! 


还 要 深 挖 作者 潜在 的 思维 模式 和 认 知 结构 。 
是 否 存在 分 化 或 整合 的 困难 判断 。 这 种 判断 不 仅 涉及 对 文本 的 字面 解读 ， 


着 对 特定 语句 


还 包括 对 文 


背后 复杂 思维 
鉴于 评分 的 复杂 性 和 主观 性 ， 编 码 员 需 要 接受 专门 的 j 
的 评估 。Brown 等 人 (1992) 提 供 的 编码 村 


结构 的 识别 和 评价 。 


微妙 的 推断 ， 这 要 求 他 们 不 仅 要 理 
其 次 ， 在 评估 整合 复杂 性 上 


至 和 人 解释。 Zin 


Im] 
Tp 


以 
方法 特别 适用 于 
并 和 书信 可 以 揭示 他 们 在 习 


价值 ， 但 这 种 


， 与 其 他 更 为 直接 


曙 文 本 的 表面 意义 ， 


十 ， 编 码 员 常 


| 练 才能 有 效 地 


和 案例 分 析 ， 帮 助 编码 员 至 


解 和 掌握 评分 标 ; 


评估 成 本 过 高 的 问题 。 
出 现 了 更 加 自动 化 的 方法 。 


以 减少 人 工 评 分 过 程 中 所 需 
认为 ， 当 时 的 机 器 学 习 模 型 并 不 能 很 好 地 对 整合 复杂 忆 


在 正式 进行 整合 复杂 性 编码 之 前 需要 通过 
是 否 与 编码 手册 中 的 案例 达到 较 高 的 一 致 性 。 
上 一 致 时 ， 他 们 才 被 认为 具备 作为 合格 
虽然 整合 复杂 性 具有 系统 化 的 人 工 评分 方法 ， 整 合 复杂 性 评分 也 不 可 避免 地 面临 人 工 
机 器 学 习 方 法 的 快速 发 展 ， 整 合 复杂 色 
这 种 利用 机 器 学 习 对 于 文本 的 整合 复杂 性 进行 识别 的 方法 ， 可 


伴随 着 计算 机 领域 


E 册 是 编码 员 训练 的 重 


HE 
E x 
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系列 的 测试 。 
只 有 当 编 码 


这 
=} 
Tn 


要 的 时 间 、 费 


eA 包含 


行 整合 复杂 性 


码 员 需 


常 面临 


Tike 


的 整合 复杂 性 编码 员 的 资格 。 


的 指导 


和。 为 了 确保 评分 的 准确 性 和 一 致 性 ， 编 码 员 
些 测试 则 在 评估 编码 员 的 评分 
的 评分 与 标准 案例 在 一 定 程度 


的 评估 


和 认 知 资源 (Ambili & Rasheed, 2014)。 有 研究 者 
进行 评分 ， 自 动 化 评估 分 数 和 人 工 


标注 方法 甚至 表现 出 没有 相关 性 ， 这 无 疑 是 很 差 的 性 能 (Suedfeld & Tetlock, 2014)。 但 是 在 


后 续 的 研究 中 自 


动 化 整合 复杂 性 评分 工 


【和 人 工 标注 的 结果 表现 


上 了 较 好 的 相关 性 。 


Ambili 和 Rasheed 的 研究 (2014) 中 实现 了 一 种 对 于 整合 复杂 性 的 较 高 精度 的 分 类 器 ， 在 156 
份 整合 复杂 性 文本 的 整合 复杂 性 三 分 类 任务 上 达到 了 0.78 的 准确 率 。Conway 等 人 (2014) 实 
现 的 自动 化 整合 复杂 性 系统 在 1300 多 个 段落 的 9 个 数据 集中 表现 出 了 与 人 类 评分 之 间 的 适 
度 的 相关 性 ， 平 均 的 相关 系数 达到 0.46. Dobbrick 等 人 ( 2022) 实 现 的 机 器 学 习 与 深度 学 习 
回归 器 中 ， 整 合 复杂 性 自动 化 预测 任务 的 性 能 在 英文 社交 媒体 数据 集 上 最 优 相关 系数 可 以 
达到 0.73， 在 德 文 社交 媒体 数据 集 上 的 最 优 相关 系数 可 以 达到 0.72， 与 人 类 评分 者 的 评分 


种 自动 化 的 评分 系统 只 针对 整合 复杂 性 概念 进行 开发 ， 且 目前 为 止 主 要 钊 


结果 已 经 十 分 相近 。 虽 然 整 合 复杂 性 的 自动 化 预测 任务 在 当前 已 经 十 分 成 熟 ， 但 是 目前 这 


| 对 英文 数据 集 以 


及 德 文 数据 集 ， 对 于 多 语言 的 整合 复杂 性 识别 以 及 辩证 整合 复杂 性 和 精 台 


| 整合 复杂 性 自动 


化 识别 模型 有 所 缺乏 。 


综 上 ， 本 研究 根据 首先 根据 整合 复杂 性 在 测量 领域 的 困难 ， 聚 焦 于 如 何 开发 出 高 准确 


率 的 中 英文 整合 复杂 性 、 辩 证 整合 复杂 性 以 及 精细 整合 复杂 性 预测 模型 。 


两 个 子 研 究 。 研 究 一 聚焦 于 开发 和 验证 针对 英文 文本 的 整合 复杂 性 、 辩 证 整合 复杂 性 和 精 


细 整 合 复杂 性 预测 模型 。 有 具体 而 言 ， 为 了 解决 神经 网 络 高 数据 量 的 要 求 ， 


本 研究 可 以 分 为 


研究 一 首先 探索 


大 语言 模型 GPT-3.5-Turbo 在 英文 文本 整合 复杂 性 上 的 标注 性 能 ， 通 过 与 人 类 标注 对 比 评 佑 
一 致 性 系数 ， 判 断 大 语言 模型 是 否 可 以 作为 证 和 复杂 性 代理 来 进行 整合 复杂 性 标注 任务 。 


其 次 ， 研 究 一 还 通过 大 语言 模型 GPT-3.5-Turbo 文本 数据 增强 技术 和 文本 处 理 技术 ， 尝 试 提 


高 模型 在 识别 和 评估 英文 文本 中 整合 复杂 性 方面 的 性 能 。 研 究 二 通过 迁移 学 习 方法 ， 殉 服 


语言 差异 带 来 的 挑战 ， 尝 试 将 研究 一 中 得 到 的 英文 文本 的 整合 复杂 性 预 涡 


I 模型 使 用 模型 参 


数 迁移 策略 应 用 到 中 文 文本 ， 通 过 评估 迁移 学 习 模型 在 零 样 本 和 少 样本 情况 下 的 性 能 表现 ， 


为 中 文 文本 提供 有 效 的 整合 复杂 性 评估 工具 ， 以 实现 对 于 


文 文本 整合 复杂 性 、 辩 证 整合 


复杂 性 和 精细 整合 复杂 性 的 高 准确 率 评估 。 通 过 对 中 英文 整合 复杂 性 自动 化 评估 工具 的 研 


发 和 完善 ， 能 够 更 好 地 量化 和 比较 不 同文 化 背景 下 个 体 的 认 知 处 理 能 力 。 


这 一 工具 不 仅 有 


助 于 在 全 球 多 样 化 的 背景 下 评估 和 理解 个 体 如 何 处 理 和 整合 信息 ， 还 能 为 心理 健康 、 决 策 


制定 和 文化 适应 等 领域 提供 重要 的 见解 。 


2 研究 一 基于 GPT 文本 数据 增强 技术 的 英文 文本 整合 复杂 性 预测 模型 


2.1 数据 来 源 


如 


本 研究 的 分 析 过 程 使 用 了 两 个 数据 集 ， 其 一 是 整合 复杂 性 标注 手册 中 提供 的 英文 文本 
示例 以 及 对 应 的 整合 复杂 性 标注 ， 该 数据 集 有 155 条 文本 数据 ， 但 是 该 数据 集 仅 包含 整合 


复杂 性 标注 ， 并 没有 辩证 整合 复杂 性 标注 和 精细 整合 复杂 性 标注 ， 其 二 是 本 研究 中 经 过 训 
练 的 整合 复杂 性 编码 人 员 对 于 300 条 英文 文本 进行 整合 复杂 性 标注 的 数据 集 ， 该 数据 集 包 
含 整合 复杂 性 、 辩 证 整合 复杂 性 以 及 精细 整合 复杂 性 的 标注 。 其 中 人 工 标注 数据 集 整 合 复 
杂 性 一 致 性 系数 为 0.75， 辩 证 整合 复杂 性 一 致 性 系数 为 0.73， 精 细 整 合 复杂 性 一 致 性 系数 


W 0.72. 


2.2 研究 方法 

大 语言 模型 在 自然 语言 处 理 任 务 上 具有 优异 的 性 能 ， 考 虑 到 整合 复杂 性 标注 成 本 高 ， 
机 器 学 习 和 神经 网 络 样本 需求 量 大 的 原因 ， 本 研究 首先 探索 大 语言 模型 在 整合 复杂 性 标注 
任务 上 的 性 能 ， 探 索 大 语言 模型 能 否 作 为 人 类 代理 来 进行 整合 复杂 性 标注 任务 。 本 实验 使 
整合 复杂 性 文本 标注 手册 中 提供 的 155 条 文本 以 及 对 应 的 整合 复杂 性 标注 对 大 预言 模型 
的 标注 性 能 进行 测试 。 当 前 大 语言 模型 中 GPT-3.5-Turbo 被 认为 具有 十 分 优良 的 性 能 ， 通 过 
提示 学 习 的 方法 可 以 完成 文本 分 类 文本 回归 等 多 种 自然 语言 处 理 相关 的 任务 ， 提 示 学 习 的 
核心 思想 是 通过 设计 一 个 适当 的 提示 ， 来 引导 预 训练 模型 执行 特定 的 任务 ， 如 分 类 、 生 成 、 
问答 等 。 使 用 相关 性 系数 和 准确 率 衡 量 整 合 复杂 性 大 语言 模型 标注 与 人 工 标 注 之 间 的 一 致 
性 ， 作 为 大 语言 模型 整合 复杂 性 标注 性 能 的 衡量 。 

整合 复杂 性 的 机 器 学 习 方 法 建 模 使 用 人 工 标注 的 证 和 复杂 性 数据 集 ， 该 发 发 首先 从 文 
本 中 提取 与 证 和 复杂 性 相关 的 特征 ， 这 些 特征 可 以 包括 词汇 使 用 的 多 样 句子 结构 的 复杂 
度 、 语 法 模式 、 情 感 倾 向 等 。 进 行 特 征 提取 之 前 首先 要 对 原始 文本 进行 分 词 ， 该 数据 集 由 
于 全 部 是 英文 文本 ， 英 文 天 然 具有 空格 作为 文本 分 阳 符 ， 因 此 可 以 直接 使 用 空格 对 于 原始 
文本 进行 分 词 。 在 特征 提取 阶段 ， 我 们 使 用 LIWC (Linguistic Inquiry and Word Count) 工 
具 提 取 文 本 中 的 词 频 特 征 。 将 提取 之 后 的 文本 特征 作为 模型 输入 ， 使 用 多 种 模型 ， 如 线性 
回归 、 支 持 向 量 机 、 高 斯 过 程 回 归 等 模型 在 训练 集 对 整合 复杂 性 进行 拟 合 。 在 测试 集 使 用 
相关 性 系数 评估 整合 复杂 性 模型 的 性 能 。 具 体 实验 流程 如 图 2-1 所 示 。 


训练 数据 集 文本 分 词 特征 提取 模型 训练 最 终 模 型 


原始 数据 集 


测试 数据 集 模型 预测 值 


真实 标注 值 


图 2-1 机 器 学 习 模 型 训练 流程 

本 研究 使 用 人 工 标注 的 证 和 复杂 性 数据 集 ， 通 过 预 训练 语言 模型 、 词 甬 入 方法 以 及 字 
经 网 络 模型 建立 整合 复杂 性 预测 模型 。 本 研究 使 用 RoBERTa (Robustly Optimized BERT 
Approach) 多 语言 预 训练 语言 模型 ， 该 模型 是 由 Facebook AI 研究 院 在 2019 年 提出 的 一 种 
改进 版 的 BERT 模型 。RoBERTa 的 提出 主要 是 为 了 通过 改进 BERT 的 训练 方法 ， 进 一 步 提 
高 模型 的 性 能 和 效率 。 并 在 下 游 接 入 TextCNN (Text Convolutional Neural Networks) 模型 
进行 模型 拟 合 。 总 体 模 型 结构 如 图 2-2 所 示 ，RoBERTa 后 接 入 的 三 个 TextCNN 模型 分 别 对 
整合 复杂 性 、 辩 证 整合 复杂 性 和 精细 整合 复杂 性 进行 预测 (Guo et al., 2019). 

此 外 ， 为 了 使 得 模型 可 以 更 好 捕捉 和 优化 整合 复杂 性 、 辩 证 整合 复杂 性 和 精细 整合 复 
杂 性 的 概念 ， 本 研究 对 神经 网 络 模型 的 损失 函数 进行 针对 性 的 设计 。 


Pre-Trained RoBERTa (Parameter Freezing) 
Fully Connected Fully Connected Fully Connected 
Transformer Block Layer Layer Layer 
Transformer Block Pooling Layer Pooling Layer Pooling Layer 
Transformer Block Convolutional Layer Convolutional Layer Convolutional Layer 
f f i i T i 
Pre-trained RoBERTa Fast Tokenizer 
input input input 


图 2-2 神经 网 络 模型 整体 结构 

首先 ， 整 合 复杂 性 、 辩 证 整合 复杂 性 和 精细 整合 复杂 性 的 分 值 均 为 1 到 7 分 ， 其 次 ， 
辩证 整合 复杂 性 得 分 和 精细 整合 复杂 性 得 分 均 小 于 等 于 整合 复杂 性 得 分 。 据 此 本 研究 设计 
了 损失 函数 如 图 2-3 所 示 ， 其 中 7Cuue 为 整合 复杂 性 人 工 标注 分 数 ，1C8we 为 精细 整合 复杂 
性 人 工 标注 分 数 ，TC8guwe 为 辩证 整合 复杂 性 人 工 标注 分 数 ，TCprea 为 整合 复杂 性 模型 预测 得 
分 ，1C8rea 为 精细 整合 复杂 性 模型 预测 得 分 ，17C8% ea 为 辩证 整合 复杂 性 预测 得 分 。 该 损失 函 
数 使 用 Huber 损失 作 为 模型 主要 损失 函数 ，Huber 损失 是 平方 损失 和 绝对 损失 的 结合 ， 可 以 
减少 对 异常 值 的 敏感 性 ， 同 时 保持 对 非 异常 值 的 高 度 敏感 度 ， 此 外 约束 2) G) 〈4) 使 用 
ReLU (Rectified Linear Unit) 函数 对 整合 复杂 性 、 辩 证 整合 复杂 性 和 精细 整合 复杂 性 模型 
超出 范围 的 预测 值 做 出 惩罚 ， 如 果 函 数 的 输入 为 正 ， 则 输出 即 为 输入 ， 如 果 输 入 为 负 ， 则 
输出 零 ，ReLU 函数 可 以 保证 预测 值 尽 可 能 位 于 1 至 7 的 分 数 范围 之 内 。 约 束 〈4) 保证 辩 
证 整合 复杂 性 和 精细 整合 复杂 性 的 预测 值 小 于 等 于 整合 复杂 性 的 预测 值 。 


Loss= HuberLoss(TCtrue — ICprea) 十 HuberLoss(TCe — I Ge d 


) + HuberLoss(TCd e — I Cs a) 


true 


(1) 
+ ReLU(ICprea — 7) + ReLU(1 — iC) (2) 
-+ ReLU(ICe — 7) + ReLU(1 — I0 a) (3) 
+ ReLU(IC4,, — 7) + ReLU(1 — IC4,,) (4) 
+ ReLU(ICS a — ICprea) + ReLU(IC4,, — ICprea) (5) 


图 2-3 神经 网 络 模型 损失 函数 


2.2.4 基于 大 语言 模型 数据 增强 的 整合 复杂 性 神经 网 络 模型 建 模 


本 研究 使 用 为 了 降低 整合 复杂 性 的 标注 成 本 ,使 用 了 基于 大 语言 模型 的 文本 数据 增强 
技术 。 传 统 的 文本 数据 增强 方法 主要 是 指 在 深度 学 习 普 及 之 前 ， 或 者 不 直接 依赖 复杂 模型 
的 情况 下 ， 用 于 扩充 或 修改 文本 数据 集 的 技术 。 比 较 常 用 的 技术 包括 但 是 不 限于 同义词 替 
换 、 随 机 插入 、 随 机 交换 、 随 机 删除 、 回 译 、N-gram 随机 置换 等 方法 。 这 些 传统 方法 存在 
一 定 的 问题 ， 增 强 后 的 数据 存在 改变 标签 或 意图 的 风险 。 基 于 GPT 的 文本 数据 增强 技术 利 
用 了 GPT 模型 的 强大 语言 生成 能 力 来 自动 产生 新 的 文本 数据 ， 从 而 扩充 和 增强 原始 数据 
攻 。 这 种 方法 依赖 于 GPT 这 类 大 型 语言 模型 的 先进 自然 语言 理解 和 自然 语言 生成 能 力 ， 可 
以 对 原始 文本 进行 改写 ， 如 改变 句子 的 语 态 、 风 格 或 者 结构 ， 同 时 保持 原始 信息 和 意图 不 


变 。 与 传统 的 文本 数据 增强 方法 相 比 ， 基 于 GPT 的 文本 数据 增强 技术 又 更 高 的 生成 质量 和 
多 样 性 、 更 强 的 上 下 文理 解 能 力 、 更 强 的 灵活 性 和 实用 性 ， 此 外 ， 利 用 GPT 进行 文本 增强 
可 以 自动 化 地 生成 大 量 新 数据 ， 减 少 人 工 标 记 和 校对 的 需要 (Dai et al., 2023)。 本 研究 要 求 
在 语义 不 变 的 情况 下 对 原始 文本 的 风格 进行 改变 ， 来 获取 增强 文本 ， 具 体 流 程 如 2-4 所 


示 。 
训练 数据 集 


测试 数据 集 模型 预测 值 
O — 


图 2-4 基于 GPT 文本 数据 增强 技术 神经 网 络 建 模 
本 研究 中 使 用 的 神经 网 络 的 网 络 结构 、 词 向 量 提取 以 及 损失 函数 设计 与 未 经 过 GPT 数 
据 增强 技术 的 神经 网 络 模 型 保持 一 致 。 


GPT 文 本 数据 增强 神经 网 络 模 型 拟 合 


整合 复杂 性 人 工 标 注 数 据 集 


2.3 研究 结果 


本 研究 首先 探索 GPT 模型 直接 进行 代替 人 工 标注 直接 进行 整合 复杂 性 标注 的 可 能 性 。 
当 提 供给 GPT-3.5-Turbo 的 提示 词 为 整合 复杂 性 概念 和 整合 复杂 性 的 分 数 范围 时 ， 提 示 词 内 
容 如 图 所 示 。 使 用 155 份 整合 复杂 性 标注 手册 提供 的 样 例 进行 测试 ， 大 语言 模型 的 整合 复 
杂 性 预测 值 与 整合 复杂 性 人 工 标注 之 间 的 Spearman 相关 性 系数 为 0.164，Peason 相关 性 系 
数 为 0.185， 标 注 准确 率 为 0.219， 真 实 值 与 标注 值 分 布 情况 见 图 2-5. 


d label i Predicted label i 
图 2-5 整合 复杂 性 概念 与 分 数 范围 提示 词 下 预测 值 分 布 


提供 给 GPT-3.5-Turbo 的 提示 词 为 整合 复杂 性 概念 、 整 合 复杂 性 的 分 数 范围 和 整合 复 
杂 性 各 个 分 数 的 含义 时 ， 提 示 词 内 容 如 图 所 示 ， 使 用 155 份 整合 复杂 性 标注 手册 提供 的 样 


例 进 行 测试 。 大 语言 模型 的 整合 复杂 性 预测 值 与 整合 复杂 性 人 工 标注 之 间 的 Spearman 相关 
性 系数 为 0.214，Peason 相关 性 系数 为 0.244， 标 注 准确 率 为 0.181， 真 实 值 与 标注 值 分 布 情 
况 见 图 2-6。 
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图 2-6 整合 复杂 性 概念 、 分 数 范 围 和 分 数 含 义 提 示 词 下 预测 值 分 布 
提供 给 GPT-3.5-Turbo 的 提示 词 为 整合 复杂 性 概念 、 整 合 复杂 性 的 分 数 范围 和 整合 复 
杂 性 各 个 分 数 的 示例 时 ， 提 示 词 内 容 如 图 所 示 ， 大 使 用 155 份 整合 复杂 性 标注 手册 提供 的 
样 例 进行 测试 。 大 语言 模型 的 整合 复杂 性 预测 值 与 整合 复杂 性 人 工 标注 之 间 的 Spearman 相 
关 性 系数 为 0.373，Peason 相关 性 系数 为 0.352， 标 注 准 确 率 为 0.297， 真 实 值 与 标注 值 分 布 
情况 见 图 2-7。 


图 2-7 整合 复杂 性 概念 、 分 数 范围 和 分 数 示例 提示 词 下 预测 值 分 布 
提供 给 GPT-3.5-Turbo 的 提示 词 为 整合 复杂 性 概念 、 整 合 复杂 性 的 分 数 范围 、 整 合 复 
杂 性 各 个 分 数 的 含义 以 及 整合 复杂 性 各 个 分 数 的 示例 时 ， 使 用 155 份 整合 复杂 性 标注 手册 
提供 的 样 例 进行 测试 。 大 语言 模型 的 整合 复杂 性 预测 值 与 整合 复杂 性 人 工 标注 之 间 的 
Spearman 相关 性 系数 为 0.436，Peason 相关 性 系数 为 0.451， 标 注 准确 率 为 0.219， 真 实 值 与 
标注 值 分 布 情况 见 图 2-8。 
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图 2-8 整合 复杂 性 概念 、 分 数 范围 、 分 数 含义 和 分 数 示 例 提示 词 下 预测 值 分 布 

综 上 ， 当 提示 词 的 结构 为 整合 复杂 性 概念 、 整 合 复 杂 性 的 分 数 范 围 、 整 合 复 杂 性 各 个 
分 数 的 含义 以 及 整合 复杂 性 各 个 分 数 的 示例 的 时 候 ，GPT-3.5-Turbo 对 于 整合 复杂 性 的 标注 
性 能 相 较 于 其 他 结构 的 提示 词 而 言 是 最 好 的 ，Spearman 相关 性 系数 为 0.436，Pearson 相关 
性 系数 为 0.451， 达 到 中 等 程度 的 相关 ， 但 是 大 语言 模型 标注 的 准确 率 较 低 ， 仅 为 0.219, 
和 人 工 标注 结果 有 较 大 的 差异 ， 因 此 GPT-3.5-Turbo 无 法 作为 人 工 编 码 代 理 直 接 进行 整合 复 
杂 性 标注 。 


2.3.2 整合 复杂 性 机 器 学 习 模 型 建 模 结果 


本 研究 使 用 人 工 标注 的 整合 复杂 性 数据 集 ， 该 数据 集 包 含 对 于 整合 复杂 性 、 辩 证 整合 
复杂 性 和 精细 整合 复杂 性 的 标注 ， 共 包含 300 份 文本 数据 。 使 用 LIWC 进行 模型 特征 提取 
之 后 ， 共 获取 73 维特 征 ， 表 2-1 为 所 提取 的 LIWC 特征 与 相对 应 的 特征 解释 。 

使 用 线性 回归 方法 对 于 整合 复杂 性 、 辩 证 整合 复杂 性 和 精细 整合 复杂 性 进行 拟 合 ， 输 
入 特征 为 LIWC 程序 提取 得 到 的 73 维 心理 语言 学 特征 。 线 性 回归 是 统计 学 中 最 基础 且 广 泛 
使 用 的 预测 模型 之 一 ， 它 试图 模拟 ` 自 变量 和 因 变 量 之 间 的 线性 关系 。 使 用 十 折 交 叉 验证 方 
法 评估 模型 的 预测 性 能 ， 整 合 复杂 性 的 Spearman 相关 性 系数 为 0.47， 辩 证 整合 复杂 性 
Spearman 相关 性 系数 为 -0.09， 精 细 整 合 复杂 性 Spearman 相关 性 系数 为 0.40， 真 实 值 与 预测 
值 分 布 情况 见 图 2-9。 

使 用 支持 向 量 机 方法 对 于 整合 复杂 性 、 辩 证 整合 复杂 性 和 精细 整合 复杂 性 进行 拟 合 ， 
输入 特征 为 LIWC 程序 提取 得 到 的 73 维 心理 语言 学 特征 。 支 持 向 量 机 是 一 种 强大 的 监督 学 
习 算法 ， 用 于 分 类 和 回归 分 析 。 文 持 向 量 机 的 核心 目标 是 找到 一 个 最 优 的 超 平面 在 二 维 
空间 中 是 一 条 线 ， 在 更 高 维度 空间 中 是 一 个 平面 或 超 平面 )， 这 个 超 平面 能 够 最 大 化 地 分 隔 
不 同类 别 的 数据 点 。 使 用 十 折 交 叉 验 证 方法 评估 模型 的 预测 性 能 ， 整 合 复杂 性 的 Spearman 
相关 性 系数 为 0.48， 辩 证 整合 复杂 性 Spearman 相关 性 系数 为 0.03， 精 细 整 合 复杂 性 
Spearman 相关 性 系数 为 0.60， 真 实 值 与 预测 值 分 布 情况 见 图 2-10. 
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(b) 辩证 整合 复杂 性 预测 性 能 
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图 2-9 线性 回归 模型 预测 性 能 
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(b) 辩证 整合 复杂 性 预测 性 能 
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(C) 精细 整合 复杂 性 预测 性 能 
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图 2-10 支持 向 量 机 回归 模型 预测 性 能 


使 用 高 斯 过 程 回 归 方法 对 于 整合 复杂 性 、 辩 证 整合 复杂 性 和 精细 整合 复杂 性 进行 拟 合 ， 
输入 特征 为 LIWC 程序 提取 得 到 的 73 维 心理 语言 学 特征 。 高 斯 过 程 回 归 ， 是 一 种 贝 叶 斯 回 
归 技 术 ， 用 于 机 器 学 习 和 统计 学 中 的 非 线性 回归 问题 。 它 通过 假设 数据 可 以 由 一 个 完全 
均值 函数 和 协 方差 函数 定义 的 高 斯 过 程 生成 ， 来 进行 预测 和 分 析 。 高 斯 过 程 回 归 的 核心 思 
想 是 利用 高 斯 过 程 来 描述 数据 之 间 的 关系 ， 从 而 对 未 知 点 进行 预测 。 使 用 十 折 交 叉 验 证 方 
法 评估 模型 的 预测 性 能 ， 整 合 复杂 性 的 Spearman 相关 性 系数 为 0.27， 辩 证 整合 复杂 性 
Spearman 相关 性 系数 为 -0.14， 精 细 整 合 复杂 性 Spearman 相关 性 系数 为 -0.11， 真 实 值 与 预测 
值 分 布 情况 见 图 2-11 。 
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图 2-11 高 斯 过 程 回 归 模型 预测 性 能 

使 用 XGBoost 回归 方法 对 于 整合 复杂 性 、 辩 证 整合 复杂 性 和 精细 整合 复杂 性 进行 拟 合 ， 
输入 特征 为 LIWC 程序 提取 得 到 的 73 维 心理 语言 学 特征 。XGBoost 是 一 种 高 效 且 强大 的 梯 
度 提 升 框架 ， 由 在 用 于 解决 回归 、 分 类 和 排序 问题 。 它 是 基于 决策 树 算法 的 集成 学 习 方 法 ， 
通过 组 合 多 个 弱 学 习 器 (通常 是 决策 树 ) 的 预测 来 构建 一 个 强 学 习 器 。 使 用 十 折 交 叉 验证 
方法 评估 模型 的 预测 性 能 ， 整 合 复杂 性 的 Spearman 相关 性 系数 为 0.54， 辩 证 整合 复杂 性 
Spearman 相关 性 系数 为 0.14， 精 细 整 合 复杂 性 Spearman 相关 性 系数 为 0.60， 真 实 值 与 预测 
值 分 布 情况 见 图 2-12。 
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(©) 精细 整合 复杂 性 预测 性 能 
Plotting cross-validated predictions 
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图 2-12 XGBoost 回归 模型 预测 性 能 
机 器 学 习 结 果 汇总 如 表 所 示 ， 对 于 机 器 学 习 模型 而 言 ， 部 分 模型 对 于 整合 复杂 性 以 及 
精细 整合 复杂 性 的 模型 性 能 较 好 ，XGBoost 模型 在 整合 复杂 性 上 的 Spearman 相关 系数 可 以 
达到 0.48， 支 持 向 量 机 和 XGBoost 在 精细 整合 复杂 性 上 的 Spearman 相关 系数 均 可 以 达到 
0.48， 达 到 中 等 程度 的 相关 性 水 平 。 但 是 目前 的 机 器 学 习 模 型 对 于 辩证 整合 复杂 性 的 模型 
识别 性 能 较 差 ， 最 优 模型 为 XGBoost 模型 ， 但 是 Spearman 相关 系数 最 高 只 有 0.16， 为 低 相 


关 性 水 平 。 


表 2-1 不 同 机 器 学 习 模型 Spearman 相关 性 系数 


模型 整合 复杂 性 辩证 整合 复杂 性 精细 整合 复杂 性 
线性 回归 0.47 -0.09 0.40 
支持 向 量 机 0.48 0.03 0.60 
高 斯 过 程 回 归 0.27 -0.14 -0.11 
XGBoost 回归 0.54 0.16 0.60 


使 用 整合 复杂 性 人 工 标注 数据 集 进 行 模型 拟 合 ， 数 据 量 为 300， 随 机 切 分 为 训练 集 和 
测试 集 ， 其 中 训练 集 样本 量 为 210， 测 试 集 样本 量 为 900。 经 过 RoBERTa 预 训练 语言 模型 进 


行 词 戏 入 提取 之 后 ， 每 份 文本 被 向 量化 为 512*768 的 矩阵 。 使 


TextCNN 网 络 中 的 模型 参数 进行 优化 ， 加 入 权 


Sa 


J Adam 优化 算法 对 于 
衰减 项 ， 控 制 模型 复杂 度 ， 防 止 模型 的 过 


拟 合 情 况 。 训 练 200 个 EPOCH 之 后 ， 模 型 损失 基本 稳定 。 整 合 复杂 性 、 辩 证 整合 复杂 性 和 
精细 整合 复杂 性 模型 预测 值 与 人 工 标注 得 分 之 间 的 相关 达到 中 等 相关 性 水 平 。 整 合 复杂 性 


Spearman 相关 性 系数 为 0.56， 辩 证 整合 复杂 公 


系数 为 0.56。 


E 相 关 性 系数 为 0.50， 精 


整合 复杂 性 相关 性 


使 用 整合 复杂 性 人 工 标 注 数 据 集 进行 模型 拟 合 ， 数 据 量 为 300， 随 机 切 分 为 训练 集 和 


测试 集 ， 其 中 训练 集 样本 量 为 210， 测 试 集 样本 量 为 90。 


据 增强 任务 之 后 ， 


文本 。 经 过 RoBERTa 预 训 
的 和 矩阵。 使 用 Adam fh 
制 | 模型 复杂 度 ， 防 止 模型 的 过 拟 合 情况 。 


控 


H 


WAS 


Am 


By) 


化 算法 对 于 TextCNN 网 络 : 


使 用 基于 GPT-3.5-Turbo 的 文本 数 
REP ION 2310 份 文本 ， 包 含 2100 份 增强 文本 和 210 份 原始 


= 


练 语言 模型 进行 词 嵌 入 提取 之 


后 ， 每 份 文本 被 问 量化 为 512*768 
的 模型 参数 进行 优化 ， 加 入 权重 衰减 项 ， 
训练 45 个 EPOCH 之 后 ， 模 型 损失 函数 基本 稳 


定 。 整 合 复杂 性 、 辩 证 整合 复杂 性 和 精细 整合 复杂 性 模型 预测 值 与 人 工 标注 得 分 之 间 的 相 


RIK BI SHAY 


水 平 。 整 合 复杂 性 Spearman 相关 怕 


RBA 0.51, tH 


整合 复杂 性 相关 性 系数 为 0.60。 


系数 为 0.62， 辩 证 整合 复杂 性 相关 性 


本 研究 通过 探索 GPT-3.5-Turbo 在 整合 复杂 性 标注 中 的 性 能 ， 发 现 尽管 其 在 少 样本 情况 
下 表现 出 一 定 的 潜力 ， 但 与 人 工 标注 的 一 致 性 有 限 ， 提 示 学 习 最 优 Spearman 相关 系数 达到 


0.44， 表 明 大 语言 模型 直接 用 于 整合 复杂 性 标注 存在 局 限 性 


显示 ， 特 别 是 XGBoost 回 
Spearman FAX ABN 0.54, %52 
Spearman 相关 系数 为 0.14。 此 外 ， 本 研究 提出 并 验证 了 利用 
强 ， 以 提高 英文 文本 整合 复杂 性 预测 的 神经 网 络 模型 性 


归 模 型 在 预测 整合 复杂 性 方 


E。 进 一 步 的 机 器 学 习 模 型 分 析 


表现 出 较 好 的 特 


型 的 预测 准确 度 ， 


合 复杂 性 Spearman 相关 性 


FEMA 


3 研究 二 基于 迁移 学 习 的 中 文 文本 整合 复杂 性 预测 模型 


3.1 数据 来 源 


FE 能 ， 整 合 复 杂 性 的 


整合 复杂 性 的 Spearman 相关 系数 为 0.60， 辩 证 整合 复杂 性 
GPT-3.5-Turbo 进行 文本 数据 增 


能 的 方法 。 这 一 方法 能 显著 提升 模 


经 网 络 模型 整合 复杂 性 Spearman 相关 性 系数 为 0.62， 辩 证 整 
系数 为 0.51， 精 细 整 合 复杂 性 Spearman 相关 性 系数 为 0.60。 


在 本 研究 则 在 探索 基于 迁移 学 习 的 中 文 文本 整合 复杂 性 预测 模型 。 为 了 构建 和 验证 这 


一 模型 ， 我 们 收 仙 
及 网 络 新 闻 文本 。 
等 多 种 文本 类 型 ， 


份 微 博 发 文 文本 ， 


着 了 来 自 三 个 不 同 来 源 的 ! 


这 些 数 


的 应 用 和 特点 。 


文 文本 数据 : 微 博 发 文 文本 、 美 团 评论 文本 以 
居 源 被 选中 是 因为 它们 履 盖 了 社交 媒体 、 在 线 评 价 以 及 正式 报道 
能 够 全 面 反映 中 文 文本 在 不 同 领域 ! 


该 数据 集 包 含 200 


150 份 美 团 评 论文 本 以 及 150 份 网 络 新 闻 文 本 。 其 中 ， 整 合 复杂 性 一 致 性 


系数 为 0.78， 辩 证 整合 复杂 性 一 致 性 系数 为 0.76， 精 细 整 合 复杂 性 一 致 性 系数 为 0.75。 


3.2 研究 方法 


迁移 学 习 是 机 器 学 习 领 域 的 一 个 重要 研究 方向 ， 它 旨 在 将 从 一 个 任务 《〈 源 任务 ) 学习 
到 的 知识 应 用 到 另 一 个 相关 但 不 同 的 任务 《目标 任务 ) 上。 迁移 学 习 的 核心 思想 是 利用 已 
有 的 知识 来 加 速 和 优化 新 任务 的 学 习 过 程 ， 特 别 是 在 新 任务 的 标注 数据 较 少 或 获取 成 本 较 
高 时 ， 迁 移 学 习 能 够 显著 提高 学 习 效率 和 性 能 。 本 研究 使 用 了 和 研究 一 相同 的 方法 ， 采 用 
了 相同 的 词 嵌 入 技术 和 模型 架构 来 对 中 文 文本 的 整合 复杂 性 进行 深入 建 模 。 在 这 一 过 程 
中 ， 我 们 特别 关注 了 模型 参数 迁移 这 一 策略 的 应 用 效果 。 具 体 而 言 ， 我 们 将 之 前 针对 英文 
文本 整合 复杂 性 预测 任务 中 训练 好 的 模型 参数 ， 直 接 迁 移 到 新 的 中 文 文本 整合 复杂 性 预测 
模型 中 。 这 一 步骤 由 在 探索 通过 迁移 学 习 在 不 同 语言 间 共 享 知识 的 可 行 性 及 其 对 模型 性 能 
的 影响 。 为 了 深入 评估 模型 参数 迁移 的 效果 ， 我 们 对 比 了 两 种 不 同 初始 化 方式 下 模型 的 性 
能 : 一 种 是 使 用 随机 初始 化 的 模型 参数 ， 另 一 种 则 是 采用 从 英文 模型 中 迁移 得 来 的 参数 
行 初始 化 ， 通 过 评估 这 两 种 模型 在 样本 量 为 150 的 测试 集 上 的 性 能 来 判断 零 样本 迁移 学 习 
模型 对 于 中 文 文本 整合 复杂 性 预测 的 优势 。 
在 传统 的 迁移 学 习 模 型 基础 上 ， 少 样本 迁移 学 习 (Few-Shot Learning) 模型 进一步 针 
对 在 目标 任务 上 只 有 极 少量 标注 数据 可 用 的 情况 进行 优化 。 少 样本 迁移 学 习 有 元 学 习 、 模 
型 微调 以 及 数据 增强 等 多 种 学 习 策略 。 其 中 ， 元 学 习 通过 在 多 个 任务 上 训练 ， 学 习 到 一 种 
学 习 策 略 ， 使 模型 能 够 在 遇 到 新 任务 时 快速 适应 。 模 型 微调 是 指 在 源 任务 上 预 训练 一 个 模 
型 ， 然 后 使 用 少量 目标 任务 数据 对 模型 进行 微调 ， 以 达到 良好 的 泛 化 能 力 (Zhuang et al., 
2020)。 数 据 增 强 是 指 通过 生成 式 模型 或 其 他 技术 手段 增加 目标 任务 的 训练 样本 ， 降 低 过 拟 
合 风险 。 

本 研究 尝试 将 少 样本 迁移 学 习 模 型 应 用 于 中 文 文本 整合 复杂 性 的 预测 任务 中 ， 探 索 在 
极 少 标注 数据 情况 下 实现 准确 预测 的 可 能 性 。 我 们 首先 在 丰富 的 英文 文本 整合 复杂 性 标注 
数据 集 上 训练 了 基 模 型 ， 以 获取 广泛 的 语言 理解 和 文本 分 析 能 力 。 随 后 ， 总 中 文 标注 数据 
集中 选取 了 350 份 中 文 文本 整合 复杂 性 数据 作为 目标 任务 的 训练 集 ， 使 用 150 份 中 文 文本 
整合 复杂 性 数据 作为 目标 任务 的 测试 集 ， 评 估 少 样本 迁移 学 习 模型 与 未 迁移 学 习 模 型 在 
文 文本 整合 复杂 性 预测 任务 上 的 性 能 差异 。 


3.3 研究 结果 


根据 表 3-1 所 展示 的 实验 结果 数据 ， 可 以 看 到 零 样 本 迁移 学 习 模 型 在 整合 复杂 性 、 辩 
证 整合 复杂 性 和 精细 整合 复杂 性 的 评估 指标 上 均 显 著 优 于 非 迁 移 学 习 模型 。 具 体 而 言 ， 对 
于 整合 复杂 性 的 预测 ， 非 迁移 学 习 模型 的 Spearman 相关 性 系数 为 0.17， 而 迁移 学 习 模型 的 
Spearman 相关 性 系数 提高 到 了 0.31。 在 辩证 整合 复杂 性 的 预测 中 ， 迁 移 学 习 模 型 的 
Spearman 相关 性 系数 从 非 迁 移 学 习 模 型 的 0.06 提升 至 0.31， 展 现 出 了 更 加 显著 的 提升 。 同 
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条 Spearman 相关 性 系数 达到 了 0.33， 相 比 
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显著 差异 ， 
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性 ， 以 及 迁移 


也 提升 在 目标 任务 上 的 预测 能 


学 习 在 捕捉 这 些 


表 3-2 零 样本 迁移 学 习 模型 与 非 迁移 学 习 模型 效果 评估 


整合 复杂 性 


辩证 整合 复杂 性 


精细 整合 复杂 性 


非 迁移 学 习 模型 
王 移 学 习 模型 
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采用 少 样本 迁移 学 习 的 模型 在 整合 


测 任 务 上 均 展现 出 了 
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系数 为 0.73; 非 迁 移 学 习 模型 在 辩证 
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辩证 整合 复杂 性 以 及 精细 整合 复杂 性 
。 有 具体 而 言 ， 非 迁移 
生 的 Spearman 相关 性 系数 为 0.68， 迁 移 学 习 模 型 在 整合 复杂 性 的 Spearman 相关 性 

生 的 Spearman 相关 性 系数 为 0.47， 迁 移 学 习 
非 迁 移 学 习 模 型 在 精细 整合 复杂 性 
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表 3-3 少 样本 迁移 学 习 模型 与 非 迁移 学 习 模型 效果 评估 
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和 潜力 ， 尤 其 是 在 面 对 数据 稀缺 的 情况 下 。 
移 学 习 能 够 提升 
E 力 方面 的 优势 。 中 文 文本 的 迁移 学 习 模型 在 零 样 


习 模 型 


在 预测 整合 复杂 性 、 
强调 了 迁移 学 习 在 处 理 跨 语言 文本 
DIFERE 
模型 的 预测 准确 度 ， 展 示 了 迁移 学 
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IRTE Spearman 相关 系数 为 0.31; 


在 少 样 


本 情况 下 ， 迁 


移 学 习 模 型 


整合 复杂 性 Spearman 


相关 系数 为 0.73， 精 细 整 合 复杂 性 Spearman 相关 系数 为 0.73， 辩 证 整合 复杂 性 Spearman 
相关 系数 为 0.51。 这 些 发 现 为 跨 语言 和 跨 领 域 的 文本 复杂 性 研究 提供 了 重要 见解 ， 并 为 未 


KA 


的 整合 复杂 性 


准确 率 预 测 。 


4 总 讨论 


本 项 研究 则 在 探讨 不 同类 型 整合 复杂 | 


生 在 中 英文 文本 建 模 的 性 能 效 。 通 过 采用 大 型 语 
言 模型 GPT-3.5-Turbo 进行 文本 数据 增强 技术 ， 结 合 社交 网 络 平台 的 大 数据 资源 ， 本 研究 展 


的 迁移 学 习 应 用 和 研究 开辟 了 新 路 径 。 此 外 ， 本 研究 开发 出 了 高 精度 的 适用 于 中 文 文本 
预测 模型 ， 实 现 了 对 于 整合 复杂 性 、 辩 证 整合 复杂 性 和 精细 整合 复杂 性 的 高 


开 了 系统 性 探索 。 研 究 的 第 一 部 分 着 重 于 评估 GPT-3.5-Turbo 在 标注 整合 复杂 性 方面 的 性 能 


表现 。 继 而 ， 本 研究 
杂 性 、 精 细 整 合 复杂 


3.5-Turbo 进行 文本 数据 增强 的 新 方法 ， 并 使 用 增强 后 的 数据 对 英文 文本 中 的 整合 复杂 性 进 


过 应 用 迁移 学 习 技术 
在 境 下 对 整合 复杂 性 、 


再 次 建 模 ， 成 功 构 


进一步 探讨 了 机 器 学 习 模型 和 神经 网 络 模型 在 预测 英文 文本 中 整合 复 


, 开发 了 一 种 适用 ae 


复杂 性 的 测量 提供 了 新 的 视角 和 技术 支持 。 


杂 自 然 语言 处 理 标 注 任 务 ， 特 别 是 整合 复杂 性 标注 任务 的 能 力 。 研 究 结果 显示 ， 尽 管 大 型 
语言 模型 在 广泛 的 NLP 应 用 中 展现 了 显著 优良 的 性 能 ， 但 在 与 人 类 专家 相 比 较 时 ， 其 在 整 


E 仍 显 不 足 。 我 们 认为 这 可 能 有 两 个 主要 的 原因 。 首 先 ，GPT- 


大 语言 模型 进行 数据 标注 的 潜力 


建 了 一 种 具有 较 高 识别 性 能 的 神经 网 络 模型 。 在 研究 的 第 二 部 分 ， 通 
文 文本 的 整合 
辩证 整合 复杂 性 和 精细 整合 复杂 性 的 高 准确 率 预 测 。 本 研究 为 整合 


性 及 辩证 整合 复杂 性 方面 的 能 力 。 此 外 ， 本 研究 提出 了 一 种 借助 GPT- 


复杂 性 预测 模型 ， 实 现 了 在 中 文 


研究 一 深入 探讨 了 利用 GPT-3.5-Turbo 等 先进 大 型 语言 模型 在 少 样本 学 习 情境 下 处 理 复 


型 具有 庞大 的 参数 规模 和 广泛 的 知识 库 ， 它 们 在 处 理 长 篇 复 


合 复杂 性 标注 任务 上 的 性 外 

3.5-Turbo 及 类 似 模型 具有 性 能 上 的 局 限 性 ， 在 性 能 上 的 局 限 部 分 源 自 其 模型 的 设计 和 模型 
的 训练 参数 规模 。 尽 管 这 些 模 2 

杂文 本 信息 ， 尤 其 是 需要 


E 解 有 待 加强 (Brown et al., 2020)。 模 型 当前 的 处 理 


和 算法 优化 的 限制 ， 导 致 在 复杂 标注 


深层 次 理解 和 整合 的 场景 中 的 能 力 ， 虽 然 和 其 他 模型 相 比 具有 无 
可 比拟 的 优势 ， 但 是 对 于 某 些 复杂 概念 理 
能 力 受到 其 训练 机 制 


任务 中 的 表现 不 尽 人 意 。 其 次 ， 


与 简单 的 情感 极 性 标注 任务 相 比 ， 整 合 复杂 性 标注 对 模型 的 要 求 可 能 超出 了 现 有 能 力 范围 ， 


整合 复杂 性 的 标注 其 


需要 对 长 篇 文本 进行 
E 解 、 上 下 文 关 联 及 信息 整合 方面 的 能 力 提 出 了 挑战 (Radford et al., 2019). 

尽管 存在 上 述 挑战 ， 大 型 语言 模型 的 快速 进展 预示 着 未 来 在 处 理 复杂 自然 语言 处 理 任 
务 上 的 性 能 可 能 会 显 


语义 到 


至 对 于 专业 的 标注 人 员 而 言 都 是 一 种 比较 困难 的 任务 。 这 种 任务 往往 


深入 理解 、 跨 文本 信息 整合 及 高 度 推理 ， 这 些 要 求 对 大 型 语言 模型 在 


车 提升 。 为 克服 当前 限制 ， 未 来 模型 可 能 通过 采用 更 先进 的 训练 策略 、 


复杂 的 模型 架构 和 精细 化 优化 算法 来 实现 。 例 如 ， 通 过 引入 更 


ae 


知识 蒸馏 技术 和 更 有 效 的 数据 预 处 理 方法 ， 可 以 增强 模型 在 处 到 
任务 上 的 能 力 。 此 外 ， 未 来 研究 可 以 探索 大 语言 模型 在 一 些 简单 人 


青 细 的 注意 力 机 制 、 改 进 的 
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4.2 神经 网 络 在 心理 变量 自动 化 识别 中 的 优 劣 势 


复杂 文本 及 执行 高 级 认 知 
E 务 上 的 标注 性 能 ， 比 如 
情感 极 性 标注 等 ， 以 探索 大 语言 模型 在 类 似 任务 上 的 潜力 (Han et al., 2021)。 


此 外 ， 本 研究 比较 了 传统 机 器 学 习 方 法 和 基于 神经 网 络 的 方法 在 整合 复杂 性 预测 任务 


上 的 性 能 ， 发 现 虽 然 两 类 方法 在 预测 整合 复杂 性 和 精细 整合 复杂 


生 方面 性 能 相当 ， 但 神经 


网 络 模型 在 处 理 辩 证 整合 复杂 性 任务 上 表现 出 明显 优势 。 这 一 差异 突显 了 两 种 方法 在 信息 
处 理 和 知识 表达 上 的 本 质 不 同 。 神 经 网 络 通过 学 习 文 本 中 的 词 谍 入 和 深层 结构 ， 能 够 抽象 


出 更 复杂 的 知识 表示 ， 为 理解 文本 背后 的 逻辑 和 上 下 文 信息 提供 了 强大 的 能 力 。 这 使 得 神 


经 网 络 在 整合 复杂 性 的 多 个 维度 ， 尤 其 是 在 处 理 辩 证 整合 复杂 性 方 


性 能 (LeCun et al., 2015)。 传 统 机 器 学 习 模 型 的 性 能 表现 确实 在 很 大 程度 上 依赖 于 特征 提取 。 
在 传统 机 器 学 习 流程 中 ， 特 征 提 取 是 一 个 关键 步骤 ， 它 涉及 将 原始 数据 转化 为 模型 能 够 理 


用 ， 展 现 出 更 为 卓越 的 


解 和 处 理 的 格式 。 这 一 步骤 通常 需要 领域 知识 和 专业 技能 ， 以 确定 哪些 特征 对 于 预测 任务 


为 重要 (Jordan & Mitchell, 2015). LIWC 特征 可 能 无 法 提取 和 学 习 到 辩证 整合 复杂 性 的 所 
要 的 特征 ， 这 导致 辩证 整合 复杂 性 在 任何 传统 机 器 学 习 模型 上 均 表现 出 比较 差 的 性 能 。 
此 外 ， 传 统 机 器 学 习 方 法 聚焦 于 对 于 单个 心理 变量 的 自动 化 识别 ， 这 种 方法 不 能 有 效 利 用 
多 个 心理 学 变量 之 间 的 关系 ， 但 是 神经 网 络 方法 不 仅仅 可 以 对 单个 心理 学 变量 进行 更 高 准 
确 率 的 建 模 ， 还 可 以 同时 利用 关联 的 心理 学 变量 的 信息 ， 对 多 个 心理 学 变量 同时 进行 建 模 ， 


并 通过 约束 关系 尽 可 能 使 模型 预测 值 保持 和 真实 值 相同 的 关联 关系 (Radford et al., 2019). 


综 上 所 述 ， 本 研究 不 仅 揭示 了 大 型 语言 模型 在 复杂 自然 语言 处 理 标 注 任务 中 的 应 用 洪 


力 和 局 限 性 ， 也 为 未 来 研究 提供 了 改进 方向 和 策略 ， 以 实现 更 精准 和 高 效 的 整合 复杂 性 建 
模 和 预测 。 此 外 ， 通 过 探索 和 优化 大 型 语言 模型 与 专家 系统 的 结合 


应 用 ， 有 望 进一步 扩展 


模型 的 应 用 范围 ， 使 其 更 好 地 适应 复杂 和 专业 化 的 自然 语言 处 


HERY 


任务 。 


4.3 迁移 学 习 模型 在 心理 学 变量 自动 化 识别 中 的 应 用 


研究 二 深入 探讨 了 迁移 学 习 技 术 在 中 文 文本 整合 复杂 性 、 辩 证 整合 复杂 性 以 及 精细 整 


合 复杂 性 预测 模型 构建 中 的 应 用 及 其 效果 。 通 过 采用 模型 参数 迁移 策略 ， 该 研究 成 功 地 建 
并 了 能 够 高 准确 度 预测 上 述 复杂 性 指标 的 模型 ， 并 特别 强调 了 迁移 学 习 在 零 样本 及 少 样本 
学 习 场 景 下 的 性 能 表现 。 这 一 发 现 不 仅 彰 显 了 迁移 学 习 技术 在 促进 模型 适应 性 和 泛 化 能 


方面 的 潜力 ， 也 揭示 了 迁移 学 习 模 型 能 够 捕捉 到 跨 文化 背景 下 整合 复杂 性 概念 的 通用 知识 


表达 结构 (Marcelino, 2018)。 迁 移 学 习 模 型 在 建 模 过 程 中 成 功 捕 获 了 反映 不 同文 化 背景 下 整 
合 复杂 性 的 通用 知识 结构 。 这 表明 ， 尽 管 整合 复杂 性 的 具体 表达 可 能 受到 语言 和 文化 的 影 
响 ， 但 存在 一 定 的 概念 和 结构 是 普遍 适用 的 (Suedfeld & Tetlock, 2014)。 这 一 发 现 为 理解 整 


合 复杂 性 在 全 球 范围 内 的 应 用 提供 了 有 价值 的 视角 ， 同 时 也 为 跨 文 化 研究 提供 了 新 的 方法 


学 工具 。 在 零 样 本 和 少 样本 情况 下 ， 迁 移 学 习 模 型 展现 出 显著 的 性 能 优势 ， 证 明了 其 在 


理 数据 稀缺 情况 下 的 强大 能 力 (Beltagy et al., 2022)。 然 而 ， 随 着 样本 量 的 增加 ， 本 研究 指 


处 
出 


迁移 学 习 模型 可 能 不 会 稳定 保持 性 能 优势 Kaplan et al., 2020)。 这 一 观察 上 暗示， 在 充足 数据 
支持 的 情况 下 ， 从 头 训练 的 模型 可 能 通过 学 习 任 务 特定 的 细节 来 达到 或 超越 迁移 学 习 模 
的 性 能 。 这 一 点 突出 了 在 实际 应 用 中 选择 模型 策略 时 需要 考虑 的 权衡 和 挑战 ， 尤 其 是 在 评 


佑 数据 可 用 性 和 模型 训练 成 本 时 。 


未 来 的 研究 应 进一步 探索 迁移 学 习 在 不 同 自然 语言 处 理 任 务 中 的 应 用 潜力 ， 尤 其 是 


跨 文 化 和 跨 语 言 环境 下 的 复杂 性 建 模 。 此 外 ， 研 究 应 当 探 讨 改进 迁移 学 习 模 型 的 策略 ， 以 


保持 其 在 样本 量 大 时 的 性 能 优势 ， 例 如 通过 开发 更 精细 的 微调 方法 或 结合 迁移 学 习 与 最 
的 模型 训练 技术 。 同 时 ， 研 究 还 应 该 关注 如 何 量 化 和 优化 迁移 学 习 模 型 在 不 同文 化 背景 


的 适用 性 和 效率 ， 以 及 如 何 利 用 迁移 学 习 捕 获 和 利 ) 


peed 


j 跨 文化 的 共性 知识 ， 为 全 球 范 围 内 


自然 语言 处 理应 用 提供 支持 。 


z 


5 总 结 


本 研究 聚焦 于 实现 对 于 中 英文 文本 高 准确 率 整 合 复杂 性 自动 化 识别 模型 的 建立 ， 并 
此 基础 上 探索 了 在 社交 网 络 媒体 表达 中 整合 复杂 性 对 于 自杀 意念 的 影响 作用 ， 以 及 自杀 
为 发 生 的 微 博 用 户 在 自杀 行为 发 生前 夕 网 络 媒体 表达 中 的 整合 复杂 性 变化 趋势 。 在 此 过 


中 ,我们 利用 大 语言 模型 文本 数据 增强 技术 和 迁移 学 习 方 法 克服 了 传统 神经 网 络 方法 数据 
量 要 求 大 的 困难 ， 此 外 ， 还 探索 了 大 语言 模型 作为 编码 代码 在 整合 复杂 性 标注 上 的 标注 


能 。 完结 论 如 下 : 


(1) 首先 探索 了 大 语言 作为 整合 复杂 性 标注 代 


里 进行 整合 复杂 性 标注 的 可 能 性 ， 大 


言 模型 在 少 样本 提示 学 习 的 情况 下 ， 最 优 的 模型 性 能 


可 以 达到 0.45， 表 现 出 了 一 定 的 标 


潜力 ， 但 是 无 法 达到 人 类 标注 水 平 ， 使 用 基于 大 语言 模型 的 文本 数据 增强 技术 建立 了 针 
英文 文本 的 整合 复杂 性 自动 化 识别 工具 ， 该 自动 化 识别 模型 可 以 识别 英文 文本 的 整合 复杂 


性 、 辨 证 整合 复杂 性 和 精细 整合 复杂 性 。 经 过 测试 外 


复杂 性 上 与 人 工 标注 的 Spearman 相关 性 达到 0.62， 在 辩证 整合 复杂 性 上 与 人 工 标注 


Spearman 相关 性 达到 0.51， 在 精细 整合 复杂 性 上 与 人 工 标 注 的 Spearman 相关 怕 


(2) 使 用 模型 参数 迁移 的 方法 ， 将 研究 一 中 建立 的 英文 整合 复杂 性 模型 进行 模型 参 
迁移 ， 从 而 建立 了 中 文 整合 复杂 性 的 高 准确 率 识 别 模型 ， 该 自动 化 识别 模型 可 以 识别 中 文 
文本 的 整合 复杂 性 、 辩 证 整合 复杂 性 和 精细 整合 复杂 性 。 经 过 测试 集 性 能 验证 ， 该 自动 
识别 模型 在 整合 复杂 性 上 与 人 工 标注 的 Spearman 相关 性 达到 0.73， 在 辩证 整合 复杂 性 上 与 
人 工 标注 的 Spearman 相关 性 达到 0.51， 在 精细 整合 复杂 性 上 与 人 工 标注 的 Spearman 相 


性 达到 0.73， 并 且 证 明 在 零 样本 和 小 样本 情况 下 ， 迁 
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